Add "refs" builtin

This is just useful to look at before pruning, etc.

Add a bit more testing for prune

Extract prune logic into an internal API

This will be used by ostree admin deploy.

pull-local: Support --remote argument

For offline upgrades, pull-local can now write the refs into a
specific remote, rather than using the local heads.

core: Add "refspec" which is remote:refname

This allows an unambiguous reference; otherwise, it was too easy to
have confusion between local heads and remotes.

gioutils: Many new utility functions

Reading symbolic links becomes a much more common thing now.

prepare-root: Only bind mount /home, /tmp, /root if they are directories

What we expect for new systems is for these to be symbolic links:
/home -> /sysroot/home
etc.

core: Port more callsites to gs_file_enumerator_iterate()

See previous commit.

core: Update libgsystem, port some uses of GFileEnumerator

This makes the code *so* much nicer.

pull-local: Fix race condition pointed out by Benjamin

We could drop into g_main_loop_run() after the worker
thread had called g_main_loop_quit().

Fix this by following the pattern suggested by Ryan of a while loop
around our termination condition, and g_main_context_iteration().

pull-local: Fix race condition

https://bugzilla.gnome.org/show_bug.cgi?id=701861

dracut: Add ostree-remount

Linux creates a copy of the soure mount flags when creating a bind
mount; if the source is read-only, then the bind mount is.

The problem is that systemd will remount the rootfs read/write, but
each mount (/home, /var etc.) will still be read-only.  We need to
remount every bind mount except for /usr to read-write too.

This only "worked" with the old ostree-switch-root because it
effectively force mounted the rootfs read-write always, ignoring the
"ro" flag.

dracut: Also ensure we're using the systemd module

I can't work out how this happens otherwise in Fedora...

Add --with-dracut

This installs a Dracut module which parses the ostree= kernel command
line argument, and if given, sets up the OS/ at /sysroot, which
systemd's switch-root then moves into.  This only works if dracut is
configured to use systemd itself.

ostree-prepare-root: Don't require an extraneous argument

ostree-prepare-root: Parse /proc/cmdline, make RPRIVATE, set up /sysroot

This does everything we need except for the actual switch-root.

ostree-prepare-root: New binary, used for systemd-in-initramfs setups

Rather than attempting to hack up the "switch-root" functionality of
systemd, this binary allows us to simply prepare the root before we
switch into it.

Drop support for generating initramfs images client side using dracut

This is the responsibility of whatever is generating filesystem trees.

Fold ostree-pull into main binary

The rationale for the separation was always kind of weak; I want to
refactor the command line argument parsing, and it was complicating
things.

pull: Exit cleanly with an error on failure to fetch refs

upgrade: Actually prune deployments again

That was a rather critical logic error...

TODO: Update

upgrade: Actually deploy upgraded tree again

I need a brown paper bag for this one...

admin: Add -r option to upgrade to initiate a reboot if tree changes

$ ostree admin upgrade -r

is convenient to fire off inside a VM and come back to it later.

upgrade: Don't require specification of osname

Since this is a highly visible command, let's have a sane default and
upgrade the currently running OS.

Add a --version argument that also outputs features

And use it in the tests to skip libarchive tests when the build
doesn't support it.

archive-test: Handle umask of 022 or 002

Red Hat appears to default to 002, whereas Debian systems default
to 022.  Fun.

Install tests

Matching https://live.gnome.org/GnomeGoals/InstalledTests

checkout: Add --allow-noent option

This is useful for the gnome-ostree build system where each build is
one commit, but it's split up into /runtime /devel /debug etc. trees.
Ideally we wouldn't have a /debug subdirectory for "noarch"
components for example.

So add an option to not error out if the given path doesn't exist in
the commit.

repo: Fix race condition in async checkout

When multiple threads need to uncompress an object, there was
a race condition where thread A could get EEXIST, unlink,
then thread B calls linkat(), then thread A tries to link() but
fails.

We can just loop in this case.

libotutil: Drop is-hidden from fast queryinfo

Since now we look at .hidden files and bang on the mainloop for every
file lookup if that's specified =(

libgsystem: Update to latest

deploy: Swap current symlink only after updating the kernel

While this still isn't fully atomic (that depends on the bootloader),
this better ensures that the deployed kernel is booted with the
intended tree.  For example, if we get ENOSPC when writing out the
kernel, we won't have swapped the symlink.

libgsystem: Update

pull-deploy: Tweak documentation to show using it for switching trees

admin: Use linkcopy_sync_data() for initramfs instead of rename()

It's possible (likely even) that /tmp is on a separate filesystem; in
that case, a raw rename() is going to fail.

Saw this on the ostree.gnome.org builder.

prune: Use g_format_size() so we get a human-readable number

We don't really care about the precise bytes.

waitablequeue: Only use API from GLib 2.34

As intended.

Release 2013.2

build: Add scripts to EXTRA_DIST

...because Automake apparently doesn't.

switchroot: Suppress compiler warning for asprintf

We're not going to run OOM here, if we do, we're totally screwed
anyways.

Release 2013.1

pull: Rework threading communication model

Previously, I've observed bugs where we either:
1) Exit too early, leaving undownloaded objects
2) Hang while downloading

This rewrite hopefully fixes both.

run-apache: Use -DFOREGROUND, not -X

-X implies debug mode which limits the workers to 1, which totally
kills parallelism.

core: Fix object enumeration for archive-z2 repositories

This makes fsck work again, among other things.

pull: Drop support for original archive repositories

For future refactoring here, it's just too complex to maintain support
for both of them, and the advantages of archive-z2 outweigh archive
too much.

tests: Update expected diff output

For previous diff commit.

admin: Assume we're using /ostree if there's a toplevel /usr

Mainly so admin install works without an existing /ostree again.

admin: Support installing pregenerated initramfs images from tree

Us running dracut is a hack, basically.  We should default to
generating this on the server.

build: Bump GLib dependency to 2.34.0

Just cleaner than an unstable version.

config-diff: Properly print files relative to root

Just less ugly.

admin: Fix lookup of active root

This should hopefully *really* fix deleting running deployments

https://bugzilla.gnome.org/show_bug.cgi?id=694762

admin: Don't delete the running deployment

https://bugzilla.gnome.org/show_bug.cgi?id=694762

deploy: Don't run triggers if /usr/share/ostree/triggers-run exists

This is preparatory work for a future gnome-ostree commit where we'll
default to running triggers on the build server side.

Update libgsystem

core: Use default /sysroot/ostree/repo or just /ostree/repo as appropriate

The old logic was just weird, special casing root, and we can easily
autodetect the case where we need /ostree/repo.

build: Use AC_SYS_LARGEFILE

So we do the right thing on 32 bit.

pull-local: Don't call g_hash_table_init() on a NULL hash

Not sure why this wasn't crashing before.

core: Add API to convert csum -> checksum without malloc()

Just doing some profiling, this was in the top malloc() callers.

pull-local: Fix uninitialized variable ref

TODO: A few updates

pull-local: Output status even in non-tty case

This way I can see progress when running builddisks.

admin: Use /sysroot/ostree automatically

When booted inside an ostree system, we want /sysroot/ostree, not
just /ostree by default.

switchroot: Use MS_MOVE to / rather than chroot

This fixes a number of bugs; the two biggest are:

1) On shutdown systemd can correctly umount /
2) We can use linux-user-chroot inside the system, as is
   necessary to do upgrades

See http://lists.freedesktop.org/archives/systemd-devel/2012-September/006703.html

pull-deploy: Allow switching trees too

$ ostree admin pull-deploy gnome-ostree trees/gnomeos-3.8-x86_64-devel

Now works to switch your current tree to -devel from the current
runtime.

pull-local: Fix crasher in previous commit when not connected to tty

pull-local: Port to GSConsole

pull-local: Support pulling checksums too

This matches what pull allows.

libgsystem: Update to the latest

admin: Don't overwrite previous ref unless it's different

We shouldn't overwrite deploy/<osname>/previous unless we actually
have something new.

This fixes the bug where two consecutive:

$ ostree admin upgrade foo
$ ostree admin upgrade foo

would end up pruning the data for foo/previous from the repo.

pull: Drop dead code to pad output strings too

This is in GSConsole now.

Port ostree-pull to GSConsole

As part of this, we need to ensure our streams are inherited across
the chain of child processes.

Update to the latest libgsystem

admin install: Ensure /ostree is initialized first

https://bugzilla.gnome.org/show_bug.cgi?id=692008

admin: Ensure /var/log/journal exists

This is admittedly a hack, since the story is that services should be
handling /var on their own.  But on the other hand the current systemd
story is that admins should create it to enable it.  Possibly a better
fix is --enable-journal-always or something for systemd.

update-kernel: Change dracut to use tmpdir on host, fix deploy path lookup

We had a bit of legacy code that looked for "current" if the deploy
path was unspecified; this needs to be deploy/OSNAME/current.

Secondly, we need to point dracut at a tmpdir outside of the root when
doing FUSE, because directories with mode 0700 and owned by root:root
aren't writable.

Also update libgsystem to the latest.

admin: Add --no-bootloader option to update-kernel

Will be used by the QA scripts, since we need to inspect the kernel
configuration and generate a correct grub conf from that, rather than
trying to have update-bootloader reuse an existing config, since there
won't be one initially.

Update to the latest libgsystem

admin update-kernel: Drop support for booting from host kernel

Now that gnome-ostree has a kernel, this functionality is no longer
necessary.  It was always a hack.

admin update-kernel: Ensure initramfs has correct owner/mode

It was 0600, and owned by the creating process (in the fuse case,
non-root!).  We want it 0644/root/root.

admin: Propagate --boot-dir to subcommands

Really, I should be using internal functions here...

core: Drop dead prototypes from header

Followup to previous commit.

core: Reuse more libgsystem API in utils

More code drain to libgsystem.

core: Ensure kernel and initramfs are put into place with fdatasync()

Via a new libgsystem API.

core: Drain fdatasync() API into libgsystem

Just code cleanup.

admin: Allow specifying --boot-dir

This is intended for use by QA tools that want to manipulate a
loopback-mounted disk image or the like.

admin: restore current-etc symlink

It is useful now like it was before, and it is used by the grub
update script.

https://bugzilla.gnome.org/show_bug.cgi?id=690743

Release 2012.13

pull: Fix a race condition causing an early exit

This is a little less magical than what we had before.

pull: Use a basic exponential moving average for bytes/sec

Still should look what other downloading programs do, but this
is better then what we had before.

admin: Add new run-triggers command

In some cases we want the ability to run triggers independently of
checking out a tree.  For example, due to kernel limitations which
impact the gnome-ostree build system, we may need to run triggers on
first boot via systemd.

Secondarily, if the user installs a system extension which adds a new
shared library to /usr/lib for example, the system will need to run
the triggers again.

Also, I think I want to take triggers out of the core and put them in
ostree admin anyways.

admin: Rework /ostree/deploy to support multiple independent operating systems

The real vision of OSTree is to "multiple versions of multiple
operating systems".  Up until now, it's worked to install gnome-ostree
inside a host distribution, but several things don't work quite right
if you try to do completely different systems.

In the new model, there's the concept of an "osname" which encompasses
a few properties:

1) Its own /var
2) A set of trees deployed in /ostree/deploy/OSNAME/
3) Its own "current" and "previous" links.

Now it no longer really makes sense to boot with "ostree=current".
Instead, you specify e.g. "ostree=gnome/current".

This is an incompatible change to the deployment code - you will need
to run init-os gnome and redeploy.

All "ostree admin" subcommands now take an OSNAME argument.

admin: Support installing a kernel from the tree, default to it

The "protocol" here is rather lame; we just look for
/boot/vmlinuz-RELEASE and /lib/modules/RELEASE.  But good enough for
now.

core: Use new libgsystem GSSubprocess API

It's less screwing around with GPtrArray in most cases.

build: Set libsoup min/max defines

So we don't get warnings about soup_requester being deprecated.

core: Pick better names for tmpfiles if no prefix given

Just makes it easier to track down where files came from.

OtWorkerQueue: Don't exit until we've fulfilled initial requests

This counts as an implicit "hold" on the first items, which we must
complete.  Otherwise there are race conditions where the queue may
signal idle when in fact the main process is still working.

Update to latest libgsystem

Has a bugfix change to gs_subprocess_new().

core: Allow creating tempfile without associated output stream

Just slightly more efficient, and we'll use this for spawning curl to
a tempfile.

core: Clean up tmpfile creation code

I have been seeing random failures here...not entirely sure why yet,
but this code is cleaner.